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Beschreibung : 



Die vorliegende Erfindung betrifft eine Vorrichtung zur 
Bildverarbeitung, insbesondere eine Vorrichtung zur stereo- 
5 skopischen Bildverarbeitung, sowie ein entsprechendes Ver- 
f ahren. 

Die optische Erfassung der dreidimension^ilen Umgebung ge- 
winnt seit geraumer Zeit zunehmend an Bedeutung. Insbeson- 
10 dere bei automatisierten Fertigungsablauf en und den dabei 
eingesetzten Robotern mUssen neben zweidimensionalen Koor- 
J dinaten auch Tief eninf ormationen hinsichtlich eines (zu be- 



v arbeitenden) Objektes zur Verfiigung stehen, um beispiels- 
weise einen Roboter entsprechend steuern zu kcmnen. 



Im Rahmen der "Ident Vision" Messe 1996 in Stuttgart wurde 
zum Beispiel ein Ganzkorperscanner vorgestellt, der mittels 
einer Vielzahl von Lasern und Kameras die raumliche Kontur 
eines Objekts erfassen kann. Jedoch ist dieses System ftir 
20 Echtzeit-Anwendungen ungeeignet. 

Bislang bekannte Realisierungen zur Ermittlung von Tiefen- 
inf ormationen kann man in verschiedene Gruppen unterteilen, 
die auf jeweils verschiedenen Verf ahren beruhen. 



Triangulationsverf ahren verwenden eine oder mehrere Linien, 
die entweder von einem Laser oder einer Projektionseinheit 
auf das betreffende Objekt abgebildet werden. Mit einer 
oder mehreren Kameras wird das Objekt anschlieBend unter 
30 einem von der Pro j ektionsrichtung geringftlgig abweichenden, 
anderen Blickwinkel aufgenommen. Beruhend auf den vorbe- 
kannten geometrischen Verhaltnissen erfolgt dann mittels 
trigonometrischer Berechnungen die Ermittlung der dreidi- 
mensionalen Struktur des Objektes, 




15 
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Nachteilig bei diesen Verfahren ist jedoch, daii unter Um- 
stSnden ftir jede projizierte Linie ein Bild auszuwerten 
ist, was aufierst zeitaufwendig ist, so dafi ein derartiges 
5 System nicht echtzeittauglich ist. 

Dariiber hinaus ist es insbesondere nachteilig, dali das je- 
weilige Meflobjekt zu beleuchten ist. Dies stellt zwar unter 
Laborbedingungen kein Problem dar, wird aber in der Praxis 
10 fast unmoglich, wenn in Situationen wie im Strafienverkehr 

oder unter bei Teleskopen oder Mikroskopen vorliegenden er- 
£.^v K schwerten realen Situationen Messungen durchzuf tihren sind. 



Ferner sind bei als Linienlichtprojektoren verwendeten La- 
sern spezielle Unf allverhiitungsvorschrif ten zu beachten, 
15 damit bei derartigen MeBaufbauten keine Gefahr fttr das 
menschliche Auge besteht. 

Bei einem speziellen Triangulationsverf ahren wird ein Farb- 
facher auf das betreffende Objekt projiziert. Die von einer 
20 Kamera auf genommenen Farbwerte konnen dann eindeutig einem 
Objektpunkt zugeordnet werden, wobei die Verschiebung ein- 
zelner Farbpunkte wiederum als Tief eninf ormation auswertbar 
ist, Obwohl dieses Verfahren in Echtzeit arbeitet, bringt 



dieses Verfahren die einschrankende Forderung mit sich, dafi 



Verfahren nicht universell einsetzbar ist. 

Dagegen werten Laufzeitverf ahren die Laufzeit von Licht, 
Mikrowellen oder eines Schallsignals als einem MeJisignal 

30 aus, urn Rtickschltisse auf die raumliche Umgebung und die 

Tief eninf ormation zu Ziehen. Dabei wird jeweils eine Raum- 
richtung angepeilt und eine Abstandsmessung vorgenommen. 
Beispielsweise beruhen das Prinzip eines Radargerates oder 
eines medizinischen Ultraschallgerates auf derartigen Lauf- 

35 zeitverf ahren . Laufzeitverf ahren erfordern jedoch eine auf- 





25 das Objekt und der Hintergrund weifi sein milssen, so dafl das 



wendige Signalverarbeitung und sind zudem von den Eigen- 
schaften des umgebenden Mediums abhangig, das die Ausbrei- 
tungseigenschaf ten des betreffenden Mefisignals beeinfluftt. 

Weiterhin kommen Scharf entiefeverf ahren zum Einsatz, die 
jedoch nur dann angewendet werden konnen, wenn die Objekt- 
grofie und die Offnung eines Objektivs in einem bestimmten 
Verhaltnis zueinander stehen, wie beispielsweise in der Mi- 
kroskopie. Dabei wird durch das optische System nur der 
schmale Bereich der Fokalebene scharf auf einen Bildsensor 
abgebildet. Die Bereiche davor und dahinter sind mehr oder 
weniger unf okussiert . Die in der Fokalebene enthaltene 
Bildinformation kann mit herkommlichen Bildverarbeitungs- 
verf ahren ausgewertet werden. Eine entsprechende Auswertung 
liefert dann eine Hohenlinie des Objekts. Durch mehrf aches 
Verschieben der Fokalebene und anschlieBender Auswertung 
kann dann eine Hohenlinienkarte des Objekts erstellt wer- 
den, was jedoch entsprechend aufwendig ist. 

Ein weiterer Ansatz, der erst seitwenigen Jahren verfolgt 
wird, beruht in der Auswertung stereoskopischer Bilder zum 
Gewinnen von Tief eninf ormationen, ahnlich dem raumlichen 
Sehen beim Menschen, dessen Nachbildung durch derartige 
Verf ahren angestrebt ist. 

Das PhSnomen des raumlichen Sehens, das nachfolgend kurz in 
Bezug auf den Menschen allgemein erlautert ist, beruht auf 
der Wahrnehmung der sichtbaren Umwelt mittels der beiden 
menschlichen Augen, wobei aufgrund des Augenabstandes die 
beiden wahrgenommenen Bilder (rechtes Auge bzw. Bild, lin- 
kes Auge bzw, Bild) unter leicht unterschiedlichen Blick- 
winkeln wahrgenommen werden. Da die Sehachsen der Augen et- 
was konvergieren, treffen sich ihre Sehachsen an einem 
Punkt der betrachteten Umwelt, wobei von einer Fixierung 
dieses Punktes durch die Augen gesprochen wird. Das Bild 



dieses Punktes fallt jeweils auf eine Sehgrube der Netz- 
haut. Jeder benachbarte Punkt im Gesichtsfeld wird dann auf 
eine Stelle der Netzhaut projiziert, die etwas vom Zentrum 
des scharfsten Sehens entfernt liegt. Im allgemeinen ist 
dieser Abstand in beiden Augen unterschiedlich, wobei der 
Abstand als Funktion der raumlichen Tiefe des betrachteten 
Punktes im Gesichtsfeld relativ zum Fixationspunkt vari- 
iert. Diese Abstandsabweichungen werden ^ls binokulare Dis- 
paritaten bezeichnet, die nachfolgend kurz als 
"Disparitaten" bezeichnet sind. 

Beim Stereosehen besteht das eigentliche Problem, neben der 
Auswertung der jeweils gegebenen trigonometrischen Gege- 
benheiten darin herauszuf inden, welcher Bildpunkt der rea- 
len Welt bzw. des gesehenen Objekts, der im ersten der ste- 
reoskopischen Bilder auftritt, welchem Bildpunkt im zweiten 
der stereoskopischen Bilder entspricht. Anders ausgedriickt, 
gilt es in Bezug auf das menschliche Auge herauszuf inden, 
welcher Bildpunkt auf der linken Netzhaut welchem Bildpunkt 
auf der rechten Netzhaut entspricht. 

Fur das raumliche Sehen bzw. die 3D-Stereowahrnehmung ist 
es dann erf orderlich, aus den Disparitaten auf die dreidi- 
mensionale Struktur des wahrgenommenen Bildes zuruck zu- 
schlieJJen. Anders ausgedrtickt, aus ermittelten Disparitaten 
kann auf die in dem wahrgenommenen Bild enthaltenen Tiefen- 
informationen geschlossen werden. 

Bislang verftigbare Stereoverf ahren sind jedoch auf lei- 
stungsfahige Arbeitsplatzrechner (PC's bzw. sogenannte 
"Workstations") angewiesen, wobei zur Ermittlung der ge- 
wiinschten Tief eninf ormationen aus einem einzigen Stereo- 
bildpaar, beispielsweise unter Verwendung eines handelsub- 
lichen Arbeitsplatzrechners (mit einer Taktfrequenz von et- 
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wa 90 MHz) , eine Zeit im Bereich von etwa 3 bis 5 Minuten 
erforderlich ist. 

Versucht man jedoch, derartige Verfahren in spezielle Re- 
chenwerke auszulagern, ubersteigt der Entwicklungs- und 
Hardwareaufwand sehr schnell wirtschaf tlich vertretbare 
Grenzen. Die Markteinfuhrung derartiger Systeme scheiterte 
bislang also entweder an einer zu geringpn Verarbeitungsge- 
schwindigkeit oder einem zu hohen Systempreis . 



Stereoverf ahren sind bestrebt, einander entsprechende Bild- 
^ i punkte zwischen einem ersten (linken) und zweiten (rechten) 
N / w \ Stereobild zu finden, wobei dann aus der relativen Ver- 

schiebung solcher Bildpunkte bei bekannter Kameraposition 
15 die Entfernung der Punkte berechnet werden kann. 

Unter den vorstehend angesprochenen herkommlichen rech- 
nerimplementierbaren Stereoverf ahren kann man im wesentli- 
chen unterscheiden zwischen sogenannten merkmalsbasierten 
-20 Stereoverf ahren, intensitatsbasierten Stereoverf ahren -und 
phasenbasierten Stereoverf ahren . 

Bei merkmalsbasierten Stereoverf ahren werden vor der Korre- 
spondenz-Suche bestimmte Merkmale (z.B. Kanten oder Inten- 
^ 25 sitatsmaxima) aus den Bilddaten extrahiert, die ftir stabi- 
ler als die rohen Bildintensitaten gehalten werden. Derar- 
tige Verfahren sind stabil, falls nur wenige stabile Merk- 
male (etwa Objektkanten) extrahiert werden. Sie sind auch 
schnell, da Bilder nur an den Orten weiterverarbeitet wer- 
30 den mussen, an denen Merkmale erfaflt wurden. Dies ftihrt zu 
einer merklichen Datenreduktion. 



35 



Jedoch konnen dadurch Disparitaten nur an den Stellen be- 
rechnet werden, an denen die gewahlten Merkmale erfaBt wur- 
den. An alien weiteren Stellen des Bildes mufi interpoliert 
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werden, was zusatzlich zeitaufwenciige RechenvorgSnge not- 
wendig macht . Je dichter die Merkiriale liegen, desto schwie- 
riger wird es, diese einander zuzuordnen. Die endgttltige 
Zuordnung kann nur anhand komplizierter einzusetzender Ver- 
5 fahren getroffen werden, was zu einer verminderten Verar- 
beitungsgeschwindigkeit fuhrt. 

Intensitatsbasierte Stereoverf ahren arbeiten direkt mit den 
seitens der Stereokameras bzw. der Bildauf nehmer geliefer- 
10 ten Bildhelligkeiten. Daher sind zur Zuordnung einander 

entsprechender Helligkeiten sehr stabile Algorithmen einzu- 
( K \ setzen, die entsprechend viel Rechenzeit erfordern. Unter 

""*' fay 

den intensitatsbasierten Verf ahren kann weiter unterschie- 
den werden zwischen korrelationsbasierten Verfahren und 
15 Verfahren mittels dynamischer Programmierung. 

Erstere sind bestrebt, einen kleinen Bildbereich des linken 
Bildes in dem rechten Bild wiederzuf inden . Dazu werden tib- 
licherweise Verfahren zur Maximierung der Korrelation oder 
20 Minimierung der Differenz eingesetzt. Falls die Bildaus- 
schnitte groB genug gewahlt sind, erzielt man mit diesen 
Verfahren stabile und dichte Disparitatskarten, wobei eine 
Echtzeitverarbeitung unter Einsatz spezieller aufwendiger 
^ Hardware denkbar ist. Die rohen Disparitatskarten enthalten 
25 typischerweise jedoch nur Verschiebungen im Bereich der Ge- 
nauigkeit eines Bildelements (Pixel) , so dafi die Auf losung 
begrenzt ist. Nur durch Einsatz von Interpolationsverf ahren 
oder aber iterativen Verfahren kann die Genauigkeit der 
Disparitaten jedoch auf subpixelgenaue Disparitaten verbes- 
30 sert werden* 



Bei Verfahren mittels dynamischer Programmierung wird ver- 
sucht/ lokal die Differenz zu minimieren, wobei diese loka- 
le Minimierung dann anhand geeigneter Verfahren auf das ge- 
35 samte Bild ausgedehnt wird. Typischerweise berechnen auch 



diese Verfahren Disparitaten nur auf ein Bildelement genau, 
was fur zahlreiche Anwendungen jedoch zu ungenau ist. 

Zusammenf assend ist f estzustellen, daft intensitatsbasierte 
Verfahren zwar eine dichte Disparitatskarte (einen Dispari- 
tatswert fur fast jeden Bildpunkt) liefern, die Minimierung 
des Fehlermaftes wie bei dem Verfahren der Minimierung der 
Differenz jedoch zeitaufwendig ist und daher nicht fur 
Echtzeitanwendungen geeignet ist. Die Reduzierung der er- 
forderlichen Rechenzeit kann durch Einsatz hierarchischer 
Verfahren reduziert werden, dies jedoch nur durch Einsatz 
komplizierter und nicht parallelisierbarer algorithmischer 
Strukturen, fttr die eine Hardwarelosung zumindest aufterst 
aufwendig und somit kostenintensiv wird. 

Desweiteren sind phasenbasierte Stereoverf ahren Gegenstand 
aktueller Untersuchungen . Diese Verfahren extrahieren aus 
den rohen Bilddaten eine lokale Fourier-Phase (meist durch 
Filterung mittels Gabor-Funktionen) , und versuchen dann, 
diese Fourier-Phasenbilder (fur das rechte bzw. linke Bild) 
in Obereinstimmung zu bringen. Die Extraktion der lokalen 
Fourier-Phase entspricht dabei einem lokalen Kontrast- 
Ausgleich, wodurch viele durch Helligkeitsschwankungen ver- 
ursachte Fehler anderer Stereoverf ahren reduziert werden. 
Insbesondere entspricht die Berechnung der lokalen Fourier- 
Phase einer Merkmalsextraktion, wobei das Merkmal (die Pha- 
se) kontinuierlich verteilt ist, also an jedem Bildpunkt 
bzw. Bildelement vorhanden ist. Diese phasenbasierten Ste- 
reoverfahren arbeiten subpixel-genau und sind auch ftlr 
Echtzeitanwendungen implementierbar . Jedoch mtissen zur Er- 
zeugung dichter Disparitatskarten hierarchische Verfahren 
eingesetzt werden, die zur Fehlervermeidung meist spezielle 
Ausnahmesituationen abfangen mussen. Dies macht die verwen- 
deten Algorithmen kompliziert und eine Hardwarerealisierung 
aufwendig und kostenintensiv. 



Es ist folglich Aufgabe der vorliegenden Erfindung, eine 
Vorrichtung und ein Verfahren zur Bildverarbeitung zu 
schaffen, mit der bzw. dem stereoskopische Bilder in Echt- 
zeit verarbeitet werden konnen, und die bzw. das mit einfa- 
chen Mitteln und geringem Aufwand zu realisieren ist. 

Erf indungsgemafi wird diese Aufgabe ge!6s£ durch eine Vor- 
richtung zur Bildverarbeitung, mit Verschiebe-Einrichtungen 
zur gegenseitigen Verschiebung von diesen jeweils zugefilhr- 
ten Bilddaten eines ersten Bildes und eines zu diesem unter 
einem anderen Auf nahmewinkel auf genommenen zweiten Bildes; 
einer Disparitats-Detektionseinrichtung zur Erfassung von 
raumlichen Tief eninf ormationen wiedergebenden Disparitats- 
werten fur durch die Verschiebe-Einrichtungen gegeneinander 
verschobenen Bilddaten des ersten Bildes und des zweiten 
Bildes; und einer Koharenz-Detektionseinrichtung zur Er- 
mittlung des tatsachlichen Disparitatswertes unter den Dis- 
paritatswerten dadurch, dafi in einem vorbestimmten Wertebe- 
reich um einen betreffenden der Disparitatswerte eine 
grofltmogliche Anzahl der librigen Disparitatswerte festge- 
stellt wird. 

Ferner wird diese Aufgabe gelost durch ein Verfahren zur 
Bildverarbeitung, mit den Schritten : gegenseitiges Ver- 
schieben von zugefuhrten Bilddaten eines ersten Bildes und 
eines zu diesem unter einem unterschiedlichen Aufnahmewin- 
kel auf genommenen zweiten Bildes mittels jeweiliger Ver- 
schiebe-Einrichtungen; Erfassen von raumliche Tiefeninfor- 
mationen wiedergebenden Disparitatswerten ftir die gegenein- 
ander verschobenen Bilddaten des ersten Bildes und des 
zweiten Bildes mittels einer Disparitats-Detektionsein- 
richtung; und Ermitteln des tatsachlichen Disparitatswertes 
unter den Disparitatswerten derart, daB in einem vorbe- 
stimmten Wertebereich urn einen betreffenden der Dispari- 
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tatswerte eine grofitm$gliche Anzahl der Ubrigen Dispari- 
tatswerte festgestellt wird. 

Durch diesen erf indungsgemafien Aufbau des Systems bzw. die- 
5 se Verarbeitungsweise des erf indungsgemafien Verfahrens Icon- 
nen die zugefuhrten Bildsignale mit der Geschwindigkeit 
verarbeitet werden, wie sie von Bildaufnehmern geliefert 
werden. Somit ist die Bilddatenverarbeityng zur Gewinnung 
von Tief eninf ormationen mit geringem Aufwand und in Echt- 
10 zeit moglich. 

(;/Kj Diese hohe Verarbeitungsgeschwindigkeit (Echtzeit) des Sy- 
V ^ stems ist ein wesentlicher Vorteil gegenuber dem Stand der 
Technik. Mit einer Bildrate von beispielsweise 25 Bildern 
15 pro Sekunde, die dem System seitens der Bildaufnehmer zuge- 
ftihrt werden und von diesem in Echtzeit verarbeitet werden, 
ist das System bzw. das mit diesem implementierte Verfahren 
den aus dem Stand der Technik bekannten Anordnungen bzw. 
Verfahren zumindest urn einen Geschwindigkeitsf aktor von 100 
20 uberlegen. 



Weiterhin ist das zu messende Volumen des Mefiobjekts gegen- 
iiber bekannten Systemen nicht mehr begrenzt. Insbesondere 
vj? V, ist der MeBbereich des erf indungsgemafien Systems nur durch 
^G5 die Begrenzung der verwendeten abbildenden Optik bestimmt, 
und alle optischen Vorsatzgerate wie Mikroskope, Tele- oder 
Weitwinkelobjektive konnen in Verbindung mit den Bildauf- 
nehmern eingesetzt werden, sofern sie an diese angepafit 
sind. Insbesondere ist es mit dem erf indungsgemafien System 
30 moglich, ein Mefiobjekt ohne Markierungshilf en auszuwerten, 
die bei Systemen gemafi dem Stand der Technik haufig erfor- 
derlich sind. 



35 



Durch die Moglichkeit ein Mefiobjekt ohne Markierungshilf en 
auszuwerten entfallt weiterhin die Notwendigkeit eine dafiir 
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notwendige Pro j ektionseinheit vorzusehen. Folglich wird das 
erf indungsgemafie System kompakter und leichter, wobei sich 
die Handhabung erleichtert und sich vielseitigere Einsatz- 
moglichkeiten ergeben . 

5 

Zudem entfallt bei dem erf indungsgemafien System auch eine 
Vorbehandlung des Mefiobjekts selbst, beispielsweise ein Ab- 
decken des MeBobjekts mit hellem Puder zur Beseitigung von 
Spiegelungen und Glanzlichtern auf der Objektoberf lache vor 
10 der Messung und Beseitigung des Puders nach erfolgter Mes- 
sung. Durch die Einsparung derartiger Arbeitsgange arbeitet 
CjKv* das erf indungsgemafie System / Verfahren zeit- und kosten- 
gunstiger. 

15 Zudem ist es bei dem erf indungsgemafien System vorteilhaf- 
terweise moglich, beliebige Bildsignalquellen anzu- 
schlielien. Das heiBt, das erf indungsgemafie System bzw. Ver- 
fahren ist nicht auf den Bereich sichtbaren Lichts be- 
schrankt, sondern die Auswertung kann beispielsweise auch 

20 fur Bildsignale im Inf rarotbereich erfolgen. 

Vorteilhafte Weiterbildungen der Erfindung sind in den Un- 
teransprtichen angegeben. 

^25 Die vorliegende Erfindung ist nachstehend anhand von Aus- 
f tihrungsbeispielen mit Bezug auf die beigefiigte Zeichnung 
naher beschrieben* Dabei zeigen: 

Fig. 1 ein allgemeines Blockschaltbild des erf indungsgema- 
30 Ben Systems; 

Fig, 2 ein Blockschaltbild, das Bildsignal-Verschiebe- 
einrichtungen und Disparitatsbestimmungseinrichtungen be- 
treffende Einzelheiten zeigt; 

35 
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Fig* 3A ein Funktionsschaltbild eines einzelnen gradienten- 
basierten bzw. dif f erentiellen Disparitatselements; 
Fig. 3B ein Blockschaltbild zur Hardwarerealisierung des 
gemafl Fig. 3A funktional beschriebenen einzelnen Dispari- 
5 tatselements . 

Fig. 4A ein Blockschaltbild eines Beispiels eines Koharenz- 
detektors; 

Fig. 4B eine schematische Darstellung einer Ausf iihrungsva- 
10 riante eines Koharenzdetektors; 



fy^ij Fig. 5 ein Diagramm, das fur alle Bildelemente einer Bild- 
zeile die von verschiedenen Disparitatselementen ermittel= 
ten Disparitaten darstellt, aus denen dann mittels eines 
15 Koharenzdetektors in Echtzeit die tatsachliche bzw. wahre 
Disparitat im Verlauf der Bildzeile bestimmt wird. 

Fig. 6 ein Beispiel zweier als Bildsignalstrom zugefuhrter 
Bilder eines ersten und zweiten (bzw. linken und rechten) 
20 Bildaufnehmers, sowie eine Darstellung der mit dem erfin- 
dungsgemaJJen System ermittelten Tief eninf ormation in Form 
einer sogenannten Disparitatskarte . 

Fig. 1 stellt das erf indungsgem^Be stereoskopische Sensor- 
system zur Erfassung dreidimensionaler Objekte in Echtzeit 
schematisch als Blockschaltbild dar. 



Das System weist einen Sensorkopf auf, der zwei Bildaufneh- 
mer umfafit, einen Bildaufnehmer CCDL fiir das (erste) linke 

30 Bild und einen Bildaufnehmer CCDR fur das (zweite) rechte 

Bild. Bei den Bildauf nehmern kann es sich beispielsweise urn 
ein Kamerapaar mit CCD-Bildauf nehmern handeln, die in einem 
vorbestimmten bekannten Abstand d voneinander angeordnet 
sind und daher leicht unterschiedliche Bilder des selben 

35 Objektes aufnehmen (vgl. Fig. 6). Insbesondere konnen die 
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Bildaufnehmer Bewegtbilder aufnehmen und diese dem System 
zur nachfolgenden Echtzeitverarbeitung zufuhren. Mittels 
einer Bildaufnehmer-Synchronisationseinrichtung SYNC werden 
die Aufnahmen der Bildaufnehmereinrichtungen CCDL, CCDR 
5 zeitlich synchronisiert, so dafl das linke und das rechte 
Bild synchron zueinander aufgenommen werden. Je nach Ent- 
fernung des Objekts von den Bildaufnehmern bzw. Kameras 
weisen die aufgenommenen Bildpunkte leic^ite - als Dispari- 
taten bezeichnete - Verschiebungen auf . Mittels einer nach- 
10 folgend als Disparitatsdetektor DD bezeichneten Einrichtung 
und einer als Disparitats-Koharenzdetektor KD bezeichneten 
Einrichtung (die beide nachfolgend noch ausfuhrlich be- 
schrieben sind) konnen die tatsachlichen Disparitaten bzw, 
Verschiebungen ermittelt werden und dann durch trigonome- 
15 trische Berechnungen unter Beriicksichtigung des bekannten 
Abstandes d zwischen den Bildaufnehmern CCDL, CCDR die 
raumliche Entfernung des jeweiligen Objekts berechnet wer- 
den, somit die gesuchten Tief eninf ormationen erhalten wer- 
den. Die so aus zwei Stereo-Bewegtbildern berechnete Tie- 
20 f eninf ormation kann quasi verzogerungsf rei in Echtzeit als 
Videosignal ausgegeben werden und als dritte Dimension (z. 
B. drittes Bild) als Grauwertbild Oder Farbbild dargestellt 
werden. Dabei ist die Echtzeitverarbeitung des Systems ins- 
^ besondere durch die serielle Verarbeitung der durch die 
5 Bildaufnehmer CCDL, CCDR gelieferten Bilddaten bedingt. 

Mit der Bildauf nehmer-Synchronisationseinrichtung SYNC ver- 
bunden ist ein Taktgenerator CLK, der Taktsignale zur 
Steuerung und Synchronisation weiterer Komponenten des Sy- 
30 stems erzeugt. 

Die aufgenommenen Bildsignale werden von den Bildaufnehmern 
CCDL, CCDR diesen jeweils zugeordneten Vorverarbeitungsein- 
richtungen WL, WR zugeftlhrt. In diesen Vorverarbeitungs- 
35 einrichtungen WL, WR erfolgt ein Helligkeitsausgleich der 



beicien Stereobilder vor der nachf olgenden Verarbeitung. 
Diese Helligkeitsvorverarbeitung ist vorteilhaf t, da auf- 
grund leicht unterschiedlicher Bildauf nahmewinkel der Bild- 
aufnehmer CCDL, CCDR sogenannte Glanzlichter und Reflexio- 
nen an (spiegelnden) Oberflachen der aufgenommen Objekte 
auftreten konnen, die bei der nachf olgenden Verarbeitung 
der Bilddaten zur Erfassung der Disparitaten zu Fehlern 
fuhren konnen, so dafi die Disparitatswerte instabil werden 
konnten. 

Fur den Fall der Verarbeitung von Farbbildern kann im Rah- 
men der Vorverarbeitung durch die Vorverarbeitungsein- 
richtungen eine Zerlegung der jeweiligen (ersten und zwei- 
ten) Farbilddaten in jeweilige Farbbildkomponenten (z. B. 
in die Primarfarben Rot, Griin, Blau (RGB) oder aber in die 
Luminanz- und die beiden Farbdif f erenzkomponenten) erfol- 
gen. Zudem ist es auch moglich, die ersten und zweiten 
Bilddaten unterschiedlichen Vorverarbeitungen zu unter- 
ziehen # 

Nach erfolgter Vorverarbeitung der Bilddaten seitens der 
Vorverarbeitungseinrichtungen WL, WR werden die Bilddaten 
des ersten und zweiten (bzw. linken und rechten) Bildes je- 
weils Einrichtungen VSEL, VSER zur gegenseitigen Verschie- 
bung der linken und rechten Bilddaten in Bezug aufeinander 
zugefiahrt. Genauer heifit das, daii jeweils zwei Verschiebe- 
einrichtungen VSEL, VSER eine Verschiebeeinheit bilden, wo- 
bei dabei je ein Verschiebestrom von Bilddaten nach rechts 
und nach links pro Verschiebeeinheit vorliegt. Eine Ver- 
schiebeeinheit ist dabei je nach Anwendungsf all fiir jede 
Art von Bilddaten vorzusehen. Das heifit, im Fall einer Vor- 
verarbeitung durch Zerlegung in die Primarfarben R, G und B 
konnen drei Verschiebeeinheiten vorgesehen sein, und zwar 
je eine fur jede Primarf arbe . 



Die Disparitaten derart zueinander verschobener Bilddaten 
werden dann fiir jeweilige Bilddatenpaare durch den Dispari- 
tatsdetektor DD ermittelt und ein jeweiliger Satz erhalte- 
ner Disparitatswerte fiir die Bilddatenpaare wird durch den 
Disparitats-Koharenzdetektor KD ausgewertet. Diese Koha- 
renzdetektion bezttglich der erhaltenen Disparitaten beruht 
auf der Auswahl bzw. Ermittlung desjenigen der erhaltenen 
Disparitatswerte, der annahernd identisch mit zumindest ei- 
nem weiteren der erhaltenen Disparitatswerte ist. Anders 
ausgedruckt wird der Disparitatswert als der eigentliche 
bzw. wahre Disparitatswert ermittelt, der in etwa identisch 
zu zumindest einem weiteren Disparitatswert (d.h. in einem 
vorbestimmten Intervall urn diesen liegt) oder identisch mit 
zumindest einem weiteren Disparitatswert ist. Fig. 5 veran- 
schaulicht dieses Prinzip anhand von Daten von beispiels- 
weise sieben Disparitatselementen eines Disparitatsdetek- 
tors . 

Die seitens des Disparitats-Koharenzdetektors KD derart er- 
mittelten eigentlichen Disparitatswerte werden dann von 
diesem an eine Einrichtung NB zur Bilddatennachbearbeitung 
ausgegeben. Diese Einrichtung NB bereitet die Disparitats- 
werte so auf, dali diese liber einen AusgangsanschluB DV ei- 
ner wahlweise anzuschlielienden Ausgabevorrichtung wie zum 
Beispiel einer (nicht dargestellten) Anzeigeeinrichtung zu- 
gefUhrt werden konnen und von dieser als Grauwert- oder 
Farbbild wiedergegeben werden. Zur besseren Darstellbarkeit 
der Disparitatswerte erfolgt im Rahmen der Bilddatennach- 
bearbeitung auch eine Beseitigung auftretender Randeffekte 
sowie eine virtuelle Begrenzung. 

In der Figur selbst nicht dargestellt ist eine externe Be- 
dieneinheit zur Konf iguration des Systems, die durch einen 
Arbeitsplatzrechner mit geeigneter Schnittstelle zu dem Sy- 
stem implementiert sein kann. 
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Fig. 2 der Zeichnung zeigt nunmehr Einzelheiten der Bildda- 
ten-Verschiebeeinrichtung VSEL ftlr Bilddaten des (ersten) 
linken Bildes, der Bilddaten-Verschiebeeinrichtung VSER fttr 
5 Bilddaten des (zweiten) rechten Bildes, die zusammen eine 
Verschiebeeinheit bilden, und des Disparitatsdetektors DD 
als Disparitatsbestimmungseinrichtung. Dabei sind die Sy- 
stemkomponentnen gemaft Fig. 2 nicht auf eine bestimmte Im- 
plementierung in analoger oder digitaler Technik festgelegt 
10 und ihre Beschreibung erfolgt zunachst in allgemeiner Form, 
unabhangig von der tatsachlichen Realisierungsf orm. 

V Die von den jeweiligen Vorverarbeitungseinrichtungen WL, 

WR ausgegebenen Bilddaten werden den Bilddaten-Verschiebe- 
15 einrichtungen VSEL, VSER zugefuhrt. Im gezeigten Fall ist 
dabei zur Vereinf achung der Darstellung nur eine Verschie- 
beeinheit fur eine Art von Bilddaten, beispielsweise fur 
eine der Primarf arben R, G, B dargestellt. 

Dabei werden die jeweiligen Bilddaten diesen Verschiebe- 
einrichtungen der Verschiebeeinheit jeweils seriell und 
synchron zueinander zugefuhrt. Jede der Verschiebeein- 
richtungen VSEL, VSER besteht aus einer Vielzahl von Ver- 
schiebeelementen AX L i bis AX Ln bzw. AX R i bis AX Rn . Diese Ele- 
mente bewirken jeweils eine Verschiebung der zugeftlhrten 
Bildelemente urn eine kleine Strecke in x-Richtung, d.h. in 
Richtung der Hauptabtastrichtung bei zeilenweise abtasten- 
den Bildaufnehmern. (Fig. 2 zeigt einen Fall ftir n=7 . ) 

30 Beginnend mit dem jeweils ersten Bildelement der seriellen 
Bilddatenstrome des linken bzw. rechten Bildes (z.B. Bild- 
element der oberen linken Ecke des jeweiligen Bildes) wer- 
den die Bildelemente (Pixel) gegeneinander verschoben. Die 
Auswertung der Bildelemente hinsichtlich der vorhandenen 
35 Disparitat erfolgt dann jeweils paarweise. Genauer erfolgt 



20 




eine paarweise Auswertung hinsichtlich der Disparitat beru- 
hend auf den verschobenen Bilddaten ftlr Paare (AX L i, AX Rn ) / 

(AX L2 , AX Rn -i) , . . ., (AX Ln _ lf AX R2 ) , (AX Ln , AX R1 ) . Der Betrag AX 
der Verschiebung kann auf einen Wert eingestellt werden, 
der der Lange eines Bildelements entspricht. Falls eine ho- 
here Genauigkeit (Subpixel-Genauigkeit ) gewunscht ist, kann 
diese Verschiebung jedoch auch auf einen Wert eingestellt 
werderi, der kleiner als die Lange eines Bildelements ist, 
beispielsweise auf die halbe Lange eines Bildelements 

(Pixels) . 

Im Fall von als Analogschaltung realisierten Verschiebeein- 
richtungen VSEL, VSER bestehen diese jeweils aus einer Ket- 
te bzw. Kaskade von Lauf zeitgliedern (Verzogerungsgliedern) 
mit entsprechenden Signalabgrif f en. Der Verschiebungsbetrag 
in x-Richtung entspricht dann der Laufzeit und kann bild- 
elementweise oder in Bruchteilen von Bilde lenient en gewahlt 
sein . 

Im F^all von als Digitalschaltung realisierten Verschiebe- 
einrichtungen VSEL, VSER besteht die jeweilige Einheit aus 
in Reihe geschalteten Schieberegistern, denen ein ent- 
sprechendes Taktsignal von dem Taktgenerator CLK (ggfs. 
tiber einen zwischengeschalteten (nicht dargestellten) Fre- 
quenzteiler) zuzufiihren ist. Dann ist es jedoch zuvor er- 
forderlich, die analogen Bilddaten mittels eines Ana- 
log/Digital-Wandlers in digitale Bilddaten umzuwandeln. Ein 
derartiger Analog/Digital-Wandler kann vor oder nach der 
jeweiligen Vorverarbeitungseinrichtung WL, WR im Signal- 
verlauf vorgesehen sein, je nachdem, ob die Vorverarbeitung 
noch analog oder schon digital erf olgt. 

Im Fall der digitalen Schieberegister erfolgt die Ansteue- 
rung der Verschiebeelemente AX L i/ AX Ri der jeweiligen Ver- 
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schiebeeinrichtung zur bilcielementweisen Verschiebung je- 
weils entsprechend dem Takt, mit dent die digitalen Bildda- 
ten zugefuhrt werden. 1st Subpixel-Genauigkeit erforder- 
lich, so sind die bereits digitalisierten Daten einem spe- 
5 ziellen Filter zuzufuhren. Zum Beispiel wird eine einem 

halben Bildelement entsprechende Verschiebung erreicht, in- 
dent man zwei auf einanderfolgende Bildelemente mittels eines 
entsprechenden Filters einer Mittelwertbildung unterzieht 
und den erhaltenen Wert als Signalwert des Bildelements an 
10 der um ein halbes Bildelement verschobenen Position an- 

nimmt. Eine derartige Filterung entspricht dann im wesent- 
^| \ » lichen einer Ditherung benachbarter Bildelemente, 



Die vorstehend genannten Bilddatenpaare (AX L i, AX Rn ) , (AX L2 , 

15 AX Rn -i)/ . .., (AX Ln -i, AX R2 ) / (AX Ln , AX Ri ) werden dann jeweils ei- 
nem Element ESTi, . EST n des Disparitatsdetektors DD zur 
Auswertung zugefuhrt, um die entsprechende Disparitat fiir 
das jeweilige Bilddatenpaar zu ermitteln. Es ist zu beach- 
ten, dafl aufgrund der vereinf achten Darstellung gemafi Fig. 
20 2 nur ein Disparitaitsdetektor DD dargestellt ist. Sind je- 
doch mehrere Verschiebeeinheiten (z.B. jeweils fur R-, G-, 
B- Bilddaten vorhanden) , so ist jeder der Verschiebeein- 
heiten ein entsprechender Disparitatsdetektor zuzuordnen. 



25 Fiir jeweilige Diparitats-Elemente EST ± eines Disparitatsde- 
tektors DD sind verschiedene Arten denkbar. Beispielsweise 
kann die Auswertung gradientenbasiert, tensorbasiert, ener- 
giebasiert oder aber gemali dem Reichard' schen Modell erfol- 
gen. Diese Auswerteprinzipien sind in der Fachliteratur 
30 hinreichend beschrieben und es wird hier nicht mehr aus- 
fUhrlich darauf eingegangen. Hinsichtlich der erzielbaren 
Genauigkeit und eines einfachen Schaltungsaufbaus sind gra- 
dientenbasierte Disparitats-Elemente den tensor- bzw. ener- 
giebasierten vorzuziehen. 
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Die von den Disparitats-Elementen ESTi (1 < i ^ n) ausgege- 
benen Disparitatswerte werden nachfolgend dem Koharenzde- 
tektor KD zugeftihrt, der aus den zugefiihrten Werten den ei- 
5 gentlichen Disparitatswert bestimmt. Insbesondere im Fall 
mehrerer Disparitatsdetektoren DD werden alle Ausgange der 
jeweiligen Disparitatsdetektoren einem nachfolgenden Koha- 
renzdetektor KD zugeftihrt. 

10 Fig. 3A zeigt nunmehr ausftlhrlich ein Funktionsschaltbild 

eines Disparitats-Elements ESTi, bei dem die Auswertung auf 
\ , dem gradientenbasierten Ansatz beruht. 

Dabei werden dem jeweiligen Disparitats-Element ESTi je- 
15 weils Bilddaten AX Li/ AX Rn+ i-i (1 ^ i < n) zugefiihrt. Diese 

werden dann einer eine bildelementweise (pixelweise) Addi- 
tion durchfuhrenden Einheit (Bezugszeichen "+" ) zugefUhrt, 
dann einer mit dem Bezugszeichen "1/2" bezeichneten Multi- 
plikationseinheit zugeftihrt, die eine Multiplikation der 
20 addierten Pixelwerte mit einem Faktor 1/2 durchftihrt, so 
daJ5 hinsichtlich des jeweils zugefiihrten Bilddatenpaares 
eine Mittelwertbildung erfolgt. Darauf f olgend durchlaufen 
die derart verarbeiteten Bilddaten ein Ableitungsf ilter 
DIFF. 

'25 

Ein einfaches Ableitungsf ilter DIFF kann beispielsweise 
Filterkoef f izienten haben, wie sie in der nachfolgenden Ta- 
belle 1 angegeben sind. 



Pixelort 


x-1 


X 


x+1 


Filterwert 


Kl = 
+ 0.5 


K2 = 
0.0 


K3 = 
-0.5 



30 Tabelle 1: Filterkoef f izienten Ableitungsf ilter DIFF 
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Die von diesem Filter ausgegebenen Datenwerte werden einer- 
seits in einer mit dem Bezugszeichen "x 2 " bezeichneten Ein- 
heit einer pixelweisen Quadrierung unterzogen, wobei die 
derart erhaltenen Werte dann einem Mittelungsf ilter AVE zu- 
5 gefiihrt werden. 

Andererseits werden die von dem Filter DIFF ausgegebenen 
Daten einer Multiplikationseinheit (Bezugszeichen "*") zu- 
gefiihrt, wo sie pixelweise mit der mittels einer Subtrakti- 
10 onseinheit (Bezugszeichen "-") bildelementweise erhaltenen 

Differenz der Daten AX Li/ AX Rn+ i_i multipliziert werden. Die 
derart erhaltenen Werte, die am Ausgang der Multiplikati- 
onseinheit zur Verfugung stehen, werden gleichfalis einem 
weiteren Mittelungsf ilter AVE zugefiihrt. 



15 



Fur beide Mittelungsf ilter AVE konnen Filterkoef f izienten 
gewahlt werden, wie sie z. B. in der folgenden Tabelle 2 
wiedergegeben sind. 



Pixelort 


x-2 


. x-1 


X 


x+1 


x+2 


Filterwert 


Jl = 
+0.0625 


J2 = 
+ 0.25 


J3 = 
+0.375 


J4 = 
+ 0.25 


J5 = 
+0.0625 


Tabelle 2: Filterkoef J 


Eizienten Mitte- 


Lungs filter AVE 



Die an den Ausgangen beider Mittelungsf ilter erhaltenen Da- 
tenwerte werden schlieBlich einer Divisionseinheit 
(Bezugszeichen "-s-" ) zugefiihrt, die an ihrem Ausgang den je- 
25 weils ermittelten Disparitatswert als Ausgangssignal des 
jeweiligen Disparitatselements ESTi ausgibt. 



Da fur beide eingesetzten Filter lediglich Filterungen in 
x-Richtung erforderlich sind, was einer Filterung im seri- 
30 ellen Bilddatenverlauf entspricht, kann ein derartiges Dis- 
paritats-Element vollstandig in analoger Technik realisiert 
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werden. Eine digitale Realisierung ist jedoch ebenfalls 
moglich. 

Die derart ermittelten Disparitatswerte, die an den Ausgan- 
5 gen der Disparitatselemente ESTi ausgegeben werden, werden 
dann dem Disparitats-Koharenzdetektor KD zugefiihrt. 

Fig. 3B zeigt ein Blockschaltbild -zur Hardwarerealisierung 
eines vorstehend mit Bezug auf Fig. 3A funktional beschrie- 
10 benen einzelnen Disparitatselements ESTi. Ein Disparitatse- 
lement EST besteht dabei aus zur Synchronisation der gesam- 
(^y \ j ten Schaltung mit einem von dem Taktgenerator CLK abgelei- 
teten Taktsignal TAKT getakteten Schieberegi stern SRI bis 
SR4 zur Zwischenspeicherung einzelner Bildelemente, sowie 
15 arithmetischen Logikschaltungen (Mittelwertbildner 1: 

"Z/2", Subtrahi^erer 2: "-" , Multiplikationseinrichtungen 
4, 5: MUL, Summierer 3, 6, 7: "Z", Divisionseinrichtung 8: 
DIV) . Dabei ist das in Fig. 3A mit DIFF bezeichnete Filter 
nunmehr durch das Schieberegister SRI, einen Koef f izienten- 
20 multiplikationsteil K (Kl, K2, K3) und den Summierer 3 rea- 
lisiert. Weiterhin sind die in Fig. 3A mit AVE bezeichneten 
Filter nunmehr durch das Schieberegister SR3, einen Koeffi- 
zientenmultiplikationsteil JA (Koef f izienten Jl, J2, J3, 
^Wt) J4, J5) und den Summierer 6, bzw. durch das Schieberegister 
25 SR4, einen Koef f izientenmultiplikationsteil JB (Koeffizien- 
ten Jl, J2, J3, J4, J5) und den Summierer 7 realisiert. Die 
Disparitat wird am Ausgang der Divisionseinrichtung 8 aus- 
gegeben. Die im Blockschaltbild wiedergegebene Schaltungs- 
anordnung verwirklicht dabei vollstandig die in Verbindung 
30 mit dem Funktionsschaltbild gemafi Fig. 3A angegebene und 

beschriebene Arbeits- und Wirkungsweise eines Disparitatse- 
lements EST. 
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Fig. 4A zeigt ein Blockschaltbild fiir einen Koharenzdetek- 
tor bzw. Disparitats-Koharenzdetektor KD, wobei als Bei- 
spiel ein Koharenzdetektor KD mit nur vier Eingangen darge- 
stellt ist. Flir den in Fig. 2 dargestellten Fall mtlftte die 
5 Schaltung entsprechend auf sieben Eingange bzw. allgemein 
auf n Eingange erweitert werden. Falls mehrere (z) Ver- 
schiebeeinheiten mit jeweils zugeordneten Disparitatsdetek- 
toren DD mit je n EST Elementen vorgesehen sind, ware die 
Schaltung auf z*n Eingange zu erweitern. 

10 

Die von den (vier nicht dargestellten) EST Elementen ESTi 
\ ^ zugefUhrten und an den Eingangen El bis E4 anliegenden Da- 
^ tenwerte der ermittelten Disparitaten werden einer Sor- 

tiereinrichtung SI zugeftihrt, welche die Datenwerte ent- 
15 sprechend der GroJie der Werte sortiert an den Ausgangen A 

bis D ausgibt. Im dargestellten Fall liegt am Ausgang A der 
kleinste Wert an, am Ausgang D der groftte Wert. Derartige 
Sortiereinrichtungen konnen mit aus Vergleichern 
(Komparatoren) und Multiplexern bestehenden Logikgattern 
20 realisiert werden und sind hier nicht dm einzelnen erlau- - 
tert. Jeder der Ausgange A bis D wird einem Multiplexer 
MUX1 zugeftihrt, wahrend weiterhin je zwei der Ausgange ei- 
nem Subtrahierer ("-") zugeftihrt werden, urn die Differenzen 




/ B-A, C-B und D-C der entsprechenden Werte zu ermitteln. Die 



725 Differenzen werden einer weiteren Sortiereinrichtung S2 zu- 
gefiihrt, die entsprechend der ersten Einrichtung SI die 
Werte der Differenzen betragsmSiiig sortiert am Ausgang aus- 
gibt. Dabei ist im vorliegenden Fall nur das kleinste Er- 
gebnis (am Ausgang "«") weiter zu verarbeiten, welches das 

30 Wertepaar der Disparitaten darstellt, die einander am 

"benachbartsten" sind, also die geringste Abweichung von- 
einander aufweisen. Das Ergebnis der Sortiereinrichtung S2, 
also der Wert am Ausgang "«" wird dann einer auf Gleich- 
heit tiberpriif enden Einrichtung " = " zugeftihrt, die das er- 

35 mittelte Ergebnis mit den dem Sortierer S2 zugefUhrten Dif- 
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ferenzen vergleicht, urn zu ermitteln, welcher der Eingangs- 
werte das Ergebnis darstellt. Diese Variante stellt dabei 
die schaltungstechnisch einfachere Variante dar, denn dies 
ware auch aus internen Entscheidungszustanden des Sortie- 
5 rers S2 ermittelbar . Das von der auf Gleichheit tiberprtif en- 
den Einrichtung erhaltene Ergebnis dient wiederum zur An- 
steuerung des Multiplexers MUX1, um die beiden zur Diffe- 
renz gehorigen Ausgangssignale des Sortierers Sleinem Mit- 
telwertbildner (Bezugszeichen "Z/2" ) zuzufuhren, der die 
10 beiden Werte zur Mittelwertbestimmung addiert und dann 

durch zwei dividiert. Dieser Mittelwert stellt dann das Er- 
gebnis KE dar, also der Koharenzwert der Vielzahl ermittel- 
< ter Dxsparitatswerte . 

15 Eine Alternative zu der vorstehend beschriebenen Schaltung 
besteht darin, die ermittelten Differenzen mit einem 
Schwellenwert zu vergleichen, wobei nur die Kandidaten bzw. 
Werte weiterverarbeitet werden, die unterhalb des bestimm- 
ten Schwellenwerts liegen. Ein nachgeschaltetes Morpholo- 

20 gieschaltwerk findet dann den grofiten Cluster 1 benachbarter 
Kandidaten. Beide Varianten sind moglich und konnen bezogen 
auf den jeweilgen Anwendungsf all jeweils die besseren Er- 
gebnisse liefern. 

25 Fig. 4B zeigt eine Variante des zuvor beschriebenen Kohci- 
renzdetektors KD, bei der dem Koharenzdetektor neben Aus- 
gangssignalen der EST Elemente weitere Daten zugeftlhrt wer- 
den, Diese ist insbesondere dann einsetzbar, wenn die Bild- 
daten zeilenverschachtelt bzw. "interlaced" erhalten wer- 

30 den, und sich die gesamte Bildinf ormation eines Vollbildes 
z.B. aus zwei Halbbildern zusammensetzt . Dann werden die 
Disparit&tswerte jeweils fUr Bilddaten eines Halbbildes er- 
mittelt und der entsprechende Koharenzwert der DisparitSten 
ftir Bildpunkte eines Halbbildes ermittelt. Fur ein jeweili- 

35 ges Halbbild werden die Werte KE fiir die Bildpunkte des 



Halbbildes in einer Speichereinrichtung MEM (mit einer 
Speicherkapazitat fiir ein Halbbild) zwischengespeichert, 
und wahrend der nachsten Halbbildperiode ausgelesen und dem 
Koharenzdetektor KD an einem zusStzlich vorzusehenden Ein- 
gangsanschluJJ zugefiihrt. Der interne Aufbau des KohSrenzde- 
tektprs KD ist im wesentlichen identisch zu dem in Verbin- 
dung mit Fig. 4A beschriebenen, mit dem Unterschied, dafl er 
ein zusatzliches (das riickgekoppelte) Signal verarbeiten 
konnen mufi, wofiir verschiedene Varianten moglich sind. Ins- 
besondere kann der riickgekoppelte Koharenz-Disparitatswert 
bereits dem Sortierer SI zugefiihrt werden und dort beruck- 
sichtigt werden, oder aber erst spater bei der Mittelwert- 
bildung EinfluB nehmen. In letzerem Fall ware er dem Mit- 
telwertbildner (Bezugszeichen "S/2" ) zuzuftihren. Die in 
Fig. 4A dargestellte Schaltung ist dann jeweils ent- 
sprechend zu modif izieren. 

Auf diese Weise kann dann der "wahre" Disparitatswert 
(Koharenz-Disparitatswert) ftlr ein Vollbild unter Beruck- 
sichtigung beider Halbbilder erhalten werden. 

Fig. 5 veranschaulicht die Funktionsweise des Disparitats- 
Koharenzdetektors KD. In der graphischen Darstellung gemafi 
Fig. 5 sind jeweils auf der Abszisse die Bildelementposi- 
tionen bzw. Pixelnummern aufgetragen, und als Ordinate fiir 
jedes Bildelement die dem Koharenzdetektor KD zugefiihrten n 
Disparitatswerte, die von den Disparitatselementen ESTi bis 
EST n ausgegeben werden. Im vorliegenden Fall sind bei- 
spielsweise n = 7 Disparitatselemente EST A fiir einen Dispa- 
ritatsdetektor DD vorgesehen. 

Fiir jedes Bildelement werden die vorliegenden n Dispari- 
tatswerte mittels des Koharenzdetektors KD in Echtzeit ver- 
glichen und derjenige Disparitatswert als der eigentliche 
Disparitatswert ausgegeben, der annahernd identisch mit 



moglichst vielen weiteren der zugeflihrten Disparitatswerte 
ist. Genauer heilit das, dali moglichst viele Disparitatswer- 
te in einem Intervall von z. B. etwa 0.2 bis 0,4 um den be- 
treffenden Disparitatswert herum liegen sollen, damit die- 
ser betreffende Disparitatswert der eigentliche Dispari- 
tatswert ist. Am einfachsten ist es, wenn fiir ein bestimm- 
tes Bildelement mehrere Disparitatswerte den gleichen Wert 
haben. Dieser Fall entspricht in der graphischen Darstel- 
lung gemafi Fig. 5 einem Schnittpunkt von zumindest zwei der 
n Disparitatswerte filr ein bestimmtes Bildelement. Die zei- 
lenweise Analyse der n Disparitatswerte fUr jedes Bildele- 
ment einer betreffenden Zeile liefert dann beispielsweise 
einen Verlauf der eigentlichen Disparitat fiir eine betref- 
fende Zeile des Bildes wie er im rechten Teil der Fig. 5 
dargestellt ist, wobei aus der Gesamtheit der analysierten 
Bildzeilen dann eine Disparitatskarte in Form eines dritten 
Bildes ermittelt bzw. dargestellt werden kann (oberes Bild 
rechts in Fig. 5) . 

Durch die geeignete Auswahl der Anzahl n von Disparitats- 
Elementen EST kann die Genauigkeit bzw. Zuverlassigkeit der 
seitens des Koharenzdetektors ermittelten wahren Disparitat 
gesteigert werden, da dann mehr Disparitatswerte vorliegen, 
die beztiglich ihrer Koharenz ausgewertet werden. Insbeson- 
dere berechnet jedes Disparitats-Element EST die Disparitat 
im gesamten MeBbereich, also vollstandig parallel* Mi thin 
entfallt die bei vielen aus dem Stand der Technik bekannten 
Realisierungen notwendige iterative Annaherung von groben 
hin zu feinen MeBbereichen, um den tasachlichen Dispari- 
tatswert zu ermitteln. 

Die Auflosung der erhaltenen Disparitat im Subpixel-Bereich 
kann bei analoger Realisierung durch die Anzahl und Abstan- 
de der vorzusehenden Abgriffe an den Lauf zeitgliedern ver- 
andert werden. Bei digitaler Realisierung ist eine entspre- 
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chende Filterung (Ditherung) der Bilddatenwerte in x- 
Richtung vorzunehmen, urn Bilddaten-Zwischenwerte an Subpi- 
xel-Positionen anzunahern. 



5 Zudem kann beruhend auf den seitens der Diparitats-Eleirtente 
EST des Disparitatsdetektors DD erhaltenen Werte noch eine 
Zusatzinformation hinsichtlich der Zuverlassigkeit der er- 
mittelten Disparitat gewonnen werden. Das heilit, betrachtet 
man die Disparitatswerte an einem Punkt der Zeile (vgl. 
10 Fig. 5), dann ist die Nahe der Nachbarn urn den exakten Dis- 

paritatswert ein Mafi fiir die Zuverlassigkeit der ermittel- 
\ . ten Disparitat. t)ber das gesamte Bild kann somit eine Zu- 
verlassigkeitskarte ermittelt werden, die in Echtzeit eine 
Aussage beziiglich der Wahrscheinlichkeit fiir die Richtig- 
15 keit der ermittelten Disparitat liefert* 

Fig. 6 zeigt ein weiteres Beispiel fiir von Bildaufnehmern 
CCDL, CCDR aufgenommene Bilder "linkes Bild" (a) und 
"rechtes Bild" (b) von im Raum angeordneten Objekten. In 

20 beiden Bildern befinden sich ein erstes und zweites Objekt 
vor einem weiteren (dritten) Objekt, welches im Hintergrund 
der dargestellten raumlichen Szene zu erkennen ist. Auf- 
grund der Auswertung durch das erf indungsgemafle optische 
■ Sensorsystem zur Verarbeitung stereoskopischer Bilder in 

'25 Echtzeit wird dann eine Disparitatskarte (c) gewonnen, die 
als Grauwertbild (oder als Farbbild) auf einem Bildschirm 
darstellbar ist. Gemali Fig. 6 ist in der Disparitatskarte 
ein im Vordergrund befindliches Objekt hell dargestellt, 
ein im mittleren Tief enbereich befindliches Objekt durch 

30 einen der Tiefe entsprechenden hellen bis dunklen Grauwert 
dargestellt, und das Objekt im Bildhintergrund als das Ob- 
jekt mit der groBten Tiefe ist in der Disparitatskarte an- 
nahernd schwarz wiedergegeben. Die im angegebenen Beispiel 
gemafi Fig. 6 beschriebene Darstellungsf orm fiir die Tiefen- 

35 information ist jedoch nicht zwingend vorgeschrieben. Eben- 



\ 



so konnen Objekte im Vordergrund dunkel wiedergegeben sein, 
und Objekte im Hintergrund hell wiedergegeben sein. 

Dariiber hinaus konnen die Daten der angezeigten Dispari- 
tatskarte auch zu Steuerungszwecken eingesetzt werden, in^ 
dem man diese Paten beispielsweise zur Steuerung von Robo- 
tern bei Montagevorgangen heranzieht und einen Soll-Ist- 
Vergleich mit vorab definierten 3-D-Fertigungsdaten und den 
aus den Disparitaten ermittelten Tief eninf ormationen durch- 
f tihrt . 

Unbemannte Fahrzeuge konnen bei Erreichen und/oder Unter- 
schreiten eines vorbestimmten Minimal-Tief enwertes zur Ver- 
hinderung von Kollisionen durch entsprechende Ansteuerungen 
zum Ausweichen veranlaJit werden, wobei dieses Prinzip auch 
bei der Implementierung passiver und/oder aktiver Abstands- 
warn- und Antikollisionssysteme in Kraf tf ahrzeugen einsetz- 
bar ist. Weitere Einsatzmoglickeiten ftir das System zeigen 
sich in der Medizintechnik beispielsweise beim dreidimen- 
sionalen 7\btasten von Korperkonturen zur Klassif ikation von 
Dysplasien. Insbesondere bestehen Einsatzmoglichkeiten im 
kief erchirurgischen Bereich oder bei flexiblen oder starren 
Endoskopen. 
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Patentanspruche 



1. Vorrichtung zur Bildverarbeitung, mit 

Verschiebe-Einrichtungen (VSEL, VSER; AX L i, AX Ln/ 
25 AX R i,..., Ax Rn ) zur gegenseitigen Verschiebung von diesen 

jeweils zugefiihrten Bilddaten eines ersten Bildes und eines 
zu diesem unter einem anderen Aufnahmewinkel auf genommenen 
zweiten Bildes; 

einer Disparitats-Detektionseinrichtung (DD; ESTi, 
♦ EST n ) zur Erfassung von raumlichen Tief eninf ormationen 
wiedergebenden Disparitatswerten fttr durch die Verschiebe- 
Einrichtungen gegeneinander verschobenen Bilddaten des er- 
sten Bildes und des zweiten Bildes; und 

einer Koharenz-Detektionseinrichtung (KD) zur Ermitt- 
35 lung des tatsachlichen Disparitatswertes unter den Dispari- 
tatswerten dadurch, dafl in einem vorbestimmten Wertebereich 
um einen betreffenden der Disparitatswerte eine grofitiriogli- 
che Anzahl der iibrigen Disparitatswerte festgestellt wird. 
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2. Vorrichtung zur Bildverarbeitung nach Anspruch 1, bei 
der 

die Bilddaten eines Vollbildes wahrend zweier aufein- 
anderfolgender Halbbildperioden zeilenverschachtelt in 
5 Halbbildern zugeftlhrt werden, 

von der Koharenz-Detektionseinrichtung (KD) wahrend 
einer ersten Halbbildperiode ermittelte tatsachliche Dispa- 
ritatswerte in einer Speichereinrichtung , (MEM) zwischenge- 
speichert werden, und 
10 diese zwischengespeicherten Disparitatswerte der Koha- 

renz-Detektionseinrichtung (KD) wahrend der darauf f olgenden 
\v zweiten Halbbildperiode zusatzlich zu den von der Dispari- 
^ tats-Detektionseinrichtung (DD) erfaliten Disparitatswerten 

zugefuhrt werden, vim die tatsachlichen Disparitatswerte ftir 
15 das Vollbild zu ermitteln, 

3» Vorrichtung zur Bildverarbeitung nach Anspruch 1, bei 
der 

die zugefUhrten Bilddaten des ersten Bildes und des 
20 zweiten Bildes^ jeweils einer Vorverarbeitungseinrichtung 
(WL, WR) zugefuhrt werden; wobei 

aufgrund der Vorverarbeitung erhaltene unterschiedli- 
che Bilddatenarten der Bilddaten des ersten Bildes und des 
zweiten Bildes jeweils Verschiebeeinrichtungen (VSEL, VSER) 
§5 und einer Disparitats-Detektionseinrichtung (DD) zugeftihrt 
werden, die jeweils fur eine jeweilige Bilddatenart vorge- 
sehen sind. 

4. Vorrichtung zur Bildverarbeitung nach einem der Anspru- 
30 che 1 bis 3, bei der 

die Bilddaten des ersten und zweiten Bildes seriell 
und zueinander synchronisiert zugefuhrt werden. 



35 



5. Vorrichtung zur Bildverarbeitung nach Anspruch 4, bei 
der die Verschiebe-Einrichtungen (VSEL, VSER; AX Li/ 
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AX Ln , AXri/..., AX Rn ) die Bilddaten bildpunktweise gegenein- 
ander verschieben. 



6. Vorrichtung zur Bildverarbeitung nach Anspruch 4, bei 
5 der die Verschiebe-Einrichtungen (VSEL, VSER; AX Li/ . 

AX Ln / AX R i f AX Rn ) die Bilddaten in Bruchteilen von Bild- 

punkten gegeneinander verschieben. 

•r 

7. Vorrichtung zur Bildverarbeitung nach Anspruch 5 oder 6, 
10 bei der die Bilddaten als analoge Bildsignale zugeftlhrt 

werden, die Verschiebeeinrichtungen als analoge Laufzeit- 
ketten ausgefiihrt sind und die gegenseitige Verschiebung 
der Bildelemente durch Einstellung der entsprechenden Lauf- 
zeit erfolgt. 



15 



20 



8. Vorrichtung zur Bildverarbeitung nach Anspruch 5, bei 
der die Bilddaten als digitale Bildsignale zugeftihrt werden 
und die Verschiebeeinrichtungen als getaktete Schiebe- 
register ausgefiihrt sind. 



9* Vorrichtung zur Bildverarbeitung nach Anspruch 6, bei 
der die Bilddaten als digitale Bildsignale zugefuhrt werden 
, ^ und die Verschiebeeinrichtungen als Filter ausgefiihrt sind, 
die Bilddatenwerte zwischen benachbarten Bildelementen in- 
25 terpolieren. 

10. Vorrichtung zur Bildverarbeitung nach einem der Ansprti- 
che 1 bis 9, bei der einer jeweiligen Disparitats- 
Detektionseinrichtung (EST a/ . .., ESTj,, EST n/ 1 ^ i ^ 

30 n) Bilddatenpaare Ax Li/ AX Rn+ i_i (1 ^ i < n) zugeftihrt werden 
und ein Disparitatswert fur diese auf einer gradienten- 
basierten Verarbeitung ermittelt wird. 
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11. Vorrichtung zur Bildverarbeitung nach einem der Ansprti- 
che 1 bis 10, bei der 

zudem eine Anzeigevorrichtung vorgesehen ist, um die 
tatsachlichen Disparitatswerte als die Tiefeninformation 
darstellende Disparitatskarte auszugeben. 

12. Verfahren zur Bildverarbeitung, mit den Schritten: 

gegenseitiges Verschieben von zugefUhrten Bilddaten 
eines ersten Bildes und eines zu diesem unter einem unter- 
schiedlichen Auf nahmewinkel auf genommenen zweiten Bildes 
mittels jeweiliger Verschiebe-Einrichtungen (VSEL, VSER; 
AX L i, . . . , AX Ln , AX R i, . . . , AX Rn ) ; 

Erfassen von raumliche Tief eninf ormationen wiederge- 
benden Disparitatswerten fur die gegeneinander verschobenen 
Bilddaten des ersten Bildes und des zweiten Bildes mittels 
einer Disparitats-Detektionseinrichtung (DD; ESTi, 
EST n ) ; und 

Ermitteln des tatsachlichen Disparitatswertes unter 
den Disparitatswerten derart, daJi in einem vorbestimmten 
Wertebereich um einen betreffenden der Disparitatswerte ei- 
ne grofitmogliche Anzahl der ubrigen Disparitatswerte fest- 
gestellt wird. 

13. Optisches Sensorsystem zur Verarbeitung stereoskopi- 
scher Bilder in Echtzeit mit einer Vorrichtung zur stereo- 
skopischen Bildverarbeitung nach einem der Anspruche 1 bis 
11, bei dem die Bilddaten des ersten und zweiten Bildes von 
zwei in einem vorbestimmten Abstand angeordneten Bildauf- 
nehmern (CCDL, CCDR) zugefiihrt werden. 

14 • Optisches Sensorsystem zur Verarbeitung stereoskopi- 
scher Bilder in Echtzeit nach Anspruch 13, bei dem die er- 
haltenen Tief eninf ormationen zur Steuerung eines bewegli- 
chen Objekts im Raum eingesetzt werden. 
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Zusammenf as sung 
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Die vorliegende Erfindung betrifft eine Vorrichtung zur 
Bildverarbeitung, mit Verschiebe-Einrichtungen (VSEL, VSER; 
AX L1/ . . AX Ln , AXri, • . Ax Rn ) zur gegenseitigen Verschie- 
bung von diesen jeweils zugeftihrten Bilddaten eines ersten 
Bildes und eines zu diesem unter einem anderen AufnaHmewin- 
kel aufgenommenen zweiten Bildes; einer Disparitats- 
Detektionseinrichtung (DD; ESTi, . EST n ) zur Erfassung 
von raumlichen Tief eninf ormationen wiedergebenden Dispari- 
tatswerteh ftir durch die Verschiebe-Einrichtungen gegenein- 
ander verschobenen Bilddaten des ersten Bildes und des 
zweiten Bildes; und einer Koharenz-Detektionseinrichtung 
(KD) zur Ermittlung des tatsachlichen Disparitatswertes un- 
ter den Disparitatswerten dadurch, dafi in einem vorbestimm- 
ten Wertebereich urn einen betreffenden der Disparitatswerte 
eine grofitmogliche Anzahl der Ubrigen Disparitatswerte 
festgestellt wird. Ferner betrifft die Erfindung ein ent- 
sprechendes Verfahren zur Bildverarbeitung. 



40 Fig. 2 
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